總部位於美國加州Redwood的Mythic,是一家提供AI加速器晶片的新創公司。相較於其他業者,Mythic是以數位類比轉換器(DAC)、類比數位轉換器(ADC)及支援記憶體內運算的嵌入式快閃記憶體(Flash)來實現演算法加速。這種獨特的硬體架構,使Mythic可用非常成熟的製程實現其晶片設計,並且在性能、功耗、成本上取得競爭優勢。
Mythic資深業務開發總監David Kuo指出,由於應用潛力廣大,專為AI推論設計的加速器晶片,是當前最熱門的晶片類型之一。除了傳統晶片大廠如英特爾(Intel)、NVIDIA外,還有至少幾十家新創公司以AI加速器作為創業題目。不過,不論是老將新秀,所有公司推出的加速器,都使用類似的數位架構,導致這些加速器不是CPU時脈很高,就是要搭配大量的內部、外部記憶體,並使用先進製程來生產。
這些因素加總起來的結果,就是AI加速器晶片往往得在效能、功耗跟價格之間做出取捨。舉例來說,專為AI推論所設計的GPU,除了要使用先進製程生產,把面積龐大的SRAM盡可能縮小外,還得搭配大量外部DRAM,才能放得下複雜的神經網路模型。記憶體是很多人常常忽略的面向,在一些AI推論應用中,DRAM的功耗其實相當驚人,在某些極端例子中,DRAM的功耗占比甚至可高達整個系統的75%。
Mythic的做法,則是以DAC、ADC搭配嵌入式Flash,來實現AI算法加速。其所使用的DAC跟ADC,解析度都是8位元,從加速器外部輸入的數位訊號,先通過DAC,轉換成256階電壓準位的類比訊號,然後在快閃記憶體中,以寄存器(Register)數值的形式儲存起來。當需要執行乘加法運算時,利用歐姆定律將電壓數值轉換成電流,輸出到ADC,就可以用非常有效率的方式執行乘加法運算。
Mythic所推出的第一款產品M1108,在處理INT8資料時,運算效能為35TOPS;單晶片最多可容納1.13億個權重(Weight)參數,讓用戶可以在單晶片上同時執行多個模型。整個SoC的典型功耗亦僅4W,可以採用被動散熱。而且,這款晶片是採用富士通(Fujitsu)的40奈米嵌入式Flash製程生產,其製程費用遠比使用先進製程的同類型產品要低廉許多。
值得一提的是,M1108使用的是標準嵌入式Flash。一般來說,每個Flash單元只能儲存1位元資料,能在Flash中儲存8位元資料的相關技術,是Mythic所擁有的獨門專利。此外,M1108晶片上整合了超過2.7萬顆ADC,如此龐大的數量,也使得基於類比技術的AI加速,在實作上有頗高難度。
David Kuo透露,利用類比電路來執行運算的想法,幾十年前就已經有學者提出過,Mythic的創辦人在研究生時代,研究的也是這個主題。要把這個概念轉化為產品,有很高的技術門檻,因此到目前為止,能推出實際產品的公司很少,Mythic就是其中之一。
目前M1108已經有工程樣品晶片,亦可以M.2 A+E Key或M Key模組、PCIe擴充卡的形式提供給客戶評估,晶片量產時程則安排在2021下半年。目前Mythic鎖定的應用客群主要是影像監控跟機器視覺應用,但由於Mythic是新創公司,客戶支援的資源有限,因此現階段業務觸角還沒延伸到中國跟台灣。等晶片量產後,Mythic會在大中華區有新的布局動作。